StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows
StartupBench：基于市场验证的端到端工作流评测通用智能体
🧭 Agent 端到端真实工作流评测
ByteDance Seed · Nanjing University · M-A-P · TokenWave.AI
构建首个基于市场验证 AI 创业产品工作流的端到端 Agent 基准，最强模型完成率仅约30%
📌 工作参考价值（4 点）
- 构建内部 Agent 评测集时，不要只依赖公开基准或研究者自选任务，可以从已上线且有稳定用户的产品工作流中提取真实任务，例如电商运营中的选品分析、商品文案生成、营销活动策划、客服工单处理等，让评测更贴近业务真实需求。
- 采用 deliverable-oriented 的任务定义：要求 Agent 产出完整可交付物（如报告、代码、设计文档），并用细粒度 rubric 对多个维度打分。这样可以捕捉部分正确但不可交付的中间进展，比简单的 pass/fail 更能区分模型能力。
- 论文发现复杂指令遵循和领域专业知识是主要失败点。在电商/广告场景落地 Agent 时，建议通过领域知识注入（如 RAG 挂载商品知识库、行业规则库）和约束检查模块来强化这些薄弱环节，而不是单纯依赖通用大模型。
- 评估时要使用统一的 agent harness，避免不同框架差异干扰模型能力判断；同时关注模型在部分进展上的表现，为迭代优化提供信号。